#Post-Training Quantization

3 篇

SpectrumQuant: Spectrum Alignment for LLM Quantization

SpectrumQuant：面向LLM量化的谱对齐旋转方法

🧭 LLM 量化 · 正交旋转 ★ 深度解读

Indian Institute of Science

通过协方差最大化推导出闭式数据感知正交变换，大幅降低LLM量化校准成本

📌 工作参考价值（4 点）

数据感知旋转替代固定 Hadamard：在电商/搜索推荐场景部署 LLM 时，若采用旋转量化（如 QuaRot、SpinQuant），可直接用激活协方差特征向量作为对齐组件 U，再与 Hadamard/Butterfly 混合，无需迭代优化即可获得与学得旋转相当的精度，适合快速适配领域数据（如电商 query、商品描述）。
闭式解大幅降低校准成本：SpectrumQuant 仅需估计激活协方差并做特征分解，70B 模型校准仅 43 分钟（单 A6000 GPU），内存占用 22 GiB，相比 SpinQuant 加速 21 倍、省 9.8 倍内存，且支持 CPU 校准，适合资源受限的线上服务或边缘部署。
旋转可完全吸收进权重，零推理开销：正交旋转矩阵可合并到相邻权重中，实测 MacBook 上推理吞吐与无旋转基线一致，不影响在线延迟，适合对实时性要求高的搜索推荐/Agent 系统。
Butterfly 矩阵作为高效混合组件：理论证明满足 |v_{ki}|=1/√d 的正交矩阵（Hadamard、特定角度 Butterfly）均为最优混合组件，Butterfly 乘法 O(d log d) 可进一步降低在线计算，替换 R3/R4 中的 Hadamard 不影响精度。

LLM | 2026-10-14 | stat.ML | score 8/10

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

STEPQuant：Delta-rule 循环状态的时空误差感知量化

🧭 线性注意力循环状态量化压缩

Zhejiang University · NLPR & MAIS, Institute of Automation, CAS · Tsinghua University · City University of Hong Kong · Harvard University

提出时空感知的循环状态量化框架，按误差幅度与记忆寿命分配精度，并联合拟合 key-row/value-column 尺度

📌 工作参考价值（4 点）

若在线推荐/Agent 部署了 Qwen3.8-27B、Kimi-Linear-48B-A3B-Instruct 等混合线性注意力模型做生成式召回、query 改写或工具调用，可直接采用 STEPQuant 对循环状态做 6-bit 后训练量化，在接近 FP32 精度下获得 5× 状态压缩和大幅显存下降，适合大并发服务。
可借鉴其时空混合精度分配思想：在维护 user state / memory 时，不对所有维度一视同仁，按“记忆寿命”和“对输出误差的敏感度”做非均匀量化；长期偏好或高敏感维度保留 FP16/INT8，短期临时状态可降到 4-bit。
联合拟合 key-row 与 value-column 缩放系数的做法，对推荐模型里矩阵型状态（如 user embedding × topic embedding、长期兴趣矩阵）有启发：先离线估计各行列对最终 loss/输出的影响，再定制 scale 而非全局 uniform。
如果团队自研推理框架，可参考它在 SGLang 中的 GPU kernel 集成方式，将状态压缩与 serving 显存核算结合，上线前用长/短生成 benchmark 做精度-显存回归。

LLM | 2026-09-28 | HF Daily | score 7/10

Linear Attention Recurrent State Post-Training Quantization Delta-Rule Serving Memory

Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models

目标感知的校准数据选择：在量化语言模型中保持不确定性

🧭 LLM 量化校准与不确定性保持

Yale University · The Hong Kong University of Science and Technology · The Hong Kong University of Science and Technology (Guangzhou) · City University of Hong Kong · Shanghai Institute of Optics and Fine Mechanics

提出 DPQ 配方族，用全精度预测选择高不确定样本与通用锚点构建目标对齐的量化校准集，保持不确定性行为。

📌 工作参考价值（4 点）

在电商/广告/Agent 场景部署量化 LLM 时，如果下游逻辑依赖 confidence/abstention（例如低置信度转人工、拒答策略、阈值决策），校准时必须针对业务目标分布选择数据，不能复用通用随机校准集。
可直接借鉴 DPQ 的“高 doubt 样本 + 通用锚点”思路：用全精度模型对线上日志打分，筛选边界难例（低 margin、高 entropy、错分类样本）加入校准数据，再混合一定比例通用样本，以保持量化后模型在关键决策边界附近的不确定性排序。
不同部署目标需要不同校准配方：如果关心“可回答性边界”（如 FAQ/客服拒答），可增加高怀疑样本比例（类似 DPQ-r75）；如果更关心广泛分类/选择题场景，应选用较温和或单信号（confidence-only / entropy-only）的校准集。
该方法属于轻量预量化数据选择，不改量化算法，可配合 GPTQ/AWQ 等主流 PTQ 框架，工程改造成本低，便于在推理优化阶段做 A/B 对比验证。

LLM | 2026-08-21 | cs.CL | score 7/10

Quantization Uncertainty Preservation Calibration Data Selection Post-Training Quantization DPQ